As a neural network compression technique, post-training quantization (PTQ) transforms a pre-trained model into a quantized model using a lower-precision data type. However, the prediction accuracy will decrease because of the quantization noise, especially in extremely low-bit settings. How to determine the appropriate quantization parameters (e.g., scaling factors and rounding of weights) is the main problem facing now. Many existing methods determine the quantization parameters by minimizing the distance between features before and after quantization. Using this distance as the metric to optimize the quantization parameters only considers local information. We analyze the problem of minimizing local metrics and indicate that it would not result in optimal quantization parameters. Furthermore, the quantized model suffers from overfitting due to the small number of calibration samples in PTQ. In this paper, we propose PD-Quant to solve the problems. PD-Quant uses the information of differences between network prediction before and after quantization to determine the quantization parameters. To mitigate the overfitting problem, PD-Quant adjusts the distribution of activations in PTQ. Experiments show that PD-Quant leads to better quantization parameters and improves the prediction accuracy of quantized models, especially in low-bit settings. For example, PD-Quant pushes the accuracy of ResNet-18 up to 53.08% and RegNetX-600MF up to 40.92% in weight 2-bit activation 2-bit. The code will be released at https://github.com/hustvl/PD-Quant.

最近对结构偏见进行了针对情感三胞胎提取（ASTE）的利用，并改善了性能。另一方面，人们认识到，明确纳入结构偏见会对效率产生负面影响，而预验证的语言模型（PLM）已经可以捕获隐式结构。因此，出现了一个自然的问题：在PLM的背景下，结构性偏见仍然是必要的吗？为了回答这个问题，我们建议通过使用适配器在PLM中整合结构偏置并使用便宜的计算相对位置结构来代替句法依赖性结构来解决效率问题。基准评估是在Semeval数据集上进行的。结果表明，我们提出的结构适配器对PLM有益，并在一系列强大的基准范围内实现最先进的性能，但具有光参数需求和延迟较低。同时，我们引起了人们的担忧，即当前的评估默认值为小规模的数据不足。因此，我们为ASTE发布了一个大型数据集。新数据集的结果暗示，结构适配器在大规模上自信地有效和有效。总体而言，我们得出一个结论，即即使使用PLM，结构偏见仍然是必要的。

半监督异常检测（AD）是一种数据挖掘任务，旨在从部分标记的数据集中学习功能，以帮助检测异常值。在本文中，我们将现有的半监督AD方法分为两类：无监督和基于监督的基于监督的，并指出其中大多数人对标记数据的利用不足和未经标记的数据的探索不足。为了解决这些问题，我们提出了深度的异常检测和搜索（DADS），该检测（DADS）应用了增强学习（RL）以平衡剥削和探索。在培训过程中，代理商通过层次结构的数据集搜索可能的异常情况，并使用搜索异常来增强性能，从本质上讲，这本质上从合奏学习的想法中汲取了教训。在实验上，我们将DAD与利用标记已知异常的标记为检测其他已知异常和未知异常的几种最新方法进行了比较。结果表明，爸爸可以从未标记的数据中有效，精确地搜索异常，并向它们学习，从而实现良好的性能。

动态极化控制（DPC）对许多光学应用都是有益的。它使用可调节的波形来执行自动极化跟踪和操作。有效的算法对于在高速下实现无尽的极化控制过程至关重要。但是，基于标准梯度的算法尚未很好地分析。在这里，我们用基于雅各布的控制理论框架对DPC进行建模，该框架与机器人运动学有很多共同点。然后，我们将Stokes矢量梯度的状况作为Jacobian矩阵进行详细分析。我们将多阶段DPC识别为冗余系统，启用具有空空间操作的控制算法。可以找到一种有效的，无复位的算法。我们预计更多定制的DPC算法将在各种光学系统中遵循相同的框架。

在现实世界中，尽管对该领域的兴趣激增，但在稀疏回报协同环境下进行的加强学习仍然具有挑战性。先前的尝试表明，内在的奖励可以减轻稀疏引起的问题。在本文中，我们提出了一种新颖的固有奖励，该奖励受人类学习的启发，因为人类通过将当前的观察结果与历史知识进行比较来评估好奇心。具体而言，我们训练一个自我监督的预测模型，并保存一组模型参数的快照，而不会产生加法培训成本。然后，我们采用核规范来评估不同快照的预测之间的时间不一致，这可以进一步部署为内在的奖励。此外，提出了一种变异的加权机制，以自适应方式将权重分配给不同的快照。我们证明了所提出的方法在各种基准环境中的功效。结果表明，与其他基于奖励的方法相比，我们的方法可以提供压倒性的最先进性能，而不会产生额外的培训成本并保持更高的噪声耐受性。我们的代码将公开发布以提高可重复性。

外部奖励的稀疏性对加强学习（RL）构成了严重的挑战。当前，对好奇心已经做出了许多努力，这些努力可以为有效探索提供代表性的内在奖励。但是，挑战尚未得到解决。在本文中，我们提出了一种名为Dymecu的RL的好奇心，它代表了基于动态记忆的好奇心。受到人类好奇心和信息理论的启发，Dymecu由动态记忆和双重在线学习者组成。好奇心引起的话，如果记忆的信息无法处理当前状态，并且双重学习者之间的信息差距可以作为对代理的内在奖励进行表述，然后可以将这些状态信息巩固到动态内存中。与以前的好奇方法相比，dymecu可以更好地模仿人类的好奇心与动态记忆，并且可以根据双重学习者的引导范式动态地生长内存模块。在包括DeepMind Control Suite和Atari Suite在内的多个基准测试中，进行了大规模的经验实验，结果表明，Dymecu在有或没有外部奖励的情况下优于基于好奇心的方法。我们将发布代码以增强可重复性。

可解释性已成为某些高风险领域（例如医疗保健，银行和安全性）中人工智能的重要主题。对于常用的表格数据，传统方法仅使用数值和分类数据训练了端到端的机器学习模型，并且不利用人类可理解的知识，例如数据描述。然而，从表格数据中挖掘人类水平的知识并将其用于预测仍然是一个挑战。因此，我们提出了一个基于概念和论证的模型（CAM），其中包括以下两个组成部分：一种新颖的概念挖掘方法，可从特征和基础数据的描述中获得人类可理解的概念及其关系，以及基于定量论证的方法进行知识表示和推理。因此，CAM提供了基于人类水平知识的决策，而推理过程本质上是可解释的。最后，为了可视化有目的的可解释模型，我们提供了一个对话解释，该解释包含CAM内主导的推理路径。开源基准数据集和现实词业务数据集的实验结果表明，CAM是透明且可解释的，CAM内部的知识与人类的理解是一致的； （2）与其他最先进模型相比，我们的可解释方法可以达到竞争结果。

发现深神经网络（DNN）容易受到对抗噪声的影响。它们通常被对抗样本误导，以做出错误的预测。为了减轻本文，我们从信息理论的角度研究了目标模型的输出与输入对抗样本之间的依赖性，并提出了一种对抗性防御方法。具体而言，我们首先通过估计输入和自然模式之间的相互信息（MI）（称为天然MI）以及分别在输出和输入的对抗模式之间的依赖性（称为对抗MI）。我们发现，与W.R.T.相比，对抗样品通常具有更大的对抗性MI和较小的天然MI。天然样品。在这一观察结果的推动下，我们建议通过在训练过程中最大化自然MI并最大程度地减少对抗性MI来增强对抗性的鲁棒性。这样，目标模型应更加关注包含客观语义的自然模式。经验评估表明，我们的方法可以有效地提高针对多次攻击的对抗精度。

过度参数化的模型，通常是预训练的语言模型（LMS），由于其小的学习偏见，具有吸引人的表现力。但是，LMS的巨大学习能力也会导致较大的学习差异。在一项试点研究中，我们发现，当面对多个领域时，参数的关键部分以特定于领域的方式出乎意料地行为，而其他参数则在域中行为。在这种现象中，我们首次认为，域总参数可以支撑一个可以源自原始LM的域总LM。为了揭示域总LM，我们建议通过演奏彩票（称为Doge门票）来识别域总参数。为了干预彩票，我们提出了一个域总分，该得分描述了参数与方差相关联的方式。全面的实验是在亚马逊，MNLI和Ontonotes数据集上进行的。结果表明，与一系列竞争基线相比，Doge门票获得了改进的室外概括。分析结果进一步暗示了域总参数的存在和门票票的性能一致性。

对话中的多模式情绪识别（MERC）是自然语言处理（NLP）的一个积极研究主题，旨在预测人类在多种方式的交流中，e，g。，自然语言和面部手势的情绪状态。无数的隐式偏见和先入为主填补了人类的语言和对话，导致了当前数据驱动的MERC方法是否会产生偏见错误的问题。例如，这种方法可能比男性提供更高的情感分数。此外，现有的DEBIA模型主要集中在性别或种族上，在这种性别或种族中，缓解多重次数仍然是MERC中未开发的任务。在这项工作中，我们采取了第一步来解决这些问题，提出一系列方法来减轻文本话语（即性别，年龄，种族，宗教和LGBTQ+）和视觉表现（即性别和性别和性别和性别和性别和性别）的五种典型偏见。年龄），随后是富含双模式变压器（MMKET）的多次减少和情感知识。全面的实验结果表明了提出的模型的有效性，并证明了Debias操作对MERC的分类性能有很大的影响。我们希望我们的研究将有益于MERC和相关情绪研究中缓解偏见的发展。